速比|出品_MNN开源项目荣获中国科协2021“年度优秀开源产品”

篇首语：本文由编程笔记#小编为大家整理，主要介绍了MNN开源项目荣获中国科协2021“年度优秀开源产品”相关的知识，希望对你有一定的参考价值。

在中国科协召开的2022“科创中国”年度会议上&＃xff0c;阿里巴巴两个开源社区荣获“年度优秀开源机构”&＃xff0c;五大开源项目荣获“年度优秀开源产品”。

日前&＃xff0c;中国科协正式发布2021“科创中国”开源创新榜单&＃xff0c;推选出50项年度优秀开源产品及相关机构。其中&＃xff0c;由阿里巴巴大淘宝技术团队开源的MNN深度学习推理引擎与其他四个阿里自研开源项目一起荣获“年度优秀开源产品”。

2022“科创中国”年度会议上&＃xff0c;中国工程院院士周济发布“科创中国”系列榜单

MNN是由大淘宝技术出品的全平台轻量级高性能深度学习引擎。它从2018年开始&＃xff0c;历经4届双十一考验&＃xff0c;广泛支持了阿里巴巴在CV、ASR、NLP等领域的70&＃43;个AI应用场景&＃xff0c;包含淘宝搜索推荐、拍立淘、淘宝直播、AR导购等核心场景&＃xff0c;日调用量达十亿量级。MNN一直是推理引擎行业标杆&＃xff0c;其架构论文发表于2020 SysML。MNN也普遍获得业界友商的认可&＃xff0c;包含陌陌、美团、得物等至少数十家企业在使用。

在过去的一年&＃xff0c;MNN一直在高性能、通用性方面沉淀扎实的推理引擎技术&＃xff1a;

首先&＃xff0c;在X86 CPU上&＃xff0c;通过增加卷积调度参数、结合X86硬件特性汇编实现等优化手段&＃xff0c;在常用模型如ResNet上&＃xff0c;提速350&＃43;% (1Batch) 、70&＃43;% (16Batch)。在微观矩阵乘microkernel层面&＃xff0c;其性能已达到计算峰值的98%以上&＃xff01;

其次&＃xff0c;我们投资于ARM、X86平台稀疏计算&＃xff0c;模型优化与引擎加速相结合&＃xff0c;0.75稀疏度的CV模型在ARM平台加速比2.1 ~ 2.3 倍&＃xff0c; x86平台加速比1.66 ~ 1.72倍。在淘宝实际业务的应用中&＃xff0c;我们发现稀疏计算结合模型量化&＃xff0c;可对模型进行极限压缩&＃xff0c;满足端侧环境对于模型体积、内存占用、CPU占用的严格约束。

最后&＃xff0c;基于MNN核心的张量计算库&＃xff0c;我们低成本高效率地实现了OpenCV / Numpy功能&＃xff0c;它有极简的包大小、原生OpenCV / Numpy库的使用体验、大幅的性能提升&＃xff0c;进一步缩短了AI算法部署到端侧的「最后一公里」。

后续我们会陆续放出MNN在以上方向的技术干货&＃xff0c;敬请大家期待&＃xff01;

在过去的一年&＃xff0c;AI整体行业也经历了飞速的发展。算法上&＃xff0c;主流任务模型日趋成熟&＃xff0c;Transformer从NLP破圈进入CV&＃xff0c;Vision Transformer 登顶 ImageNet&＃xff1b;产业中&＃xff0c;大量的AI、数据公司IPO&＃xff0c;如Exscientia, Snowflake, UiPath, Confluent等&＃xff0c;标志着AI开始迈向部署阶段。淘系端智能团队坚信&＃xff0c;未来的AI部署将是端侧驱动、端云协同的。我们自主研发并对外开放了支持AI应用启蒙、无门槛训练和一键多端部署的一站式AI平台&＃xff1a;MNN工作台&＃xff0c;欢迎大家从MNN官网 (见文末二维码) 下载体验&＃xff01;

MNN官网

MNN开源交流群

✿  拓展阅读 

作者|淘系技术

编辑|橙子君

出品|阿里巴巴新零售淘系技术